Recientemente, Zyphra lanzó oficialmente Zamba2-7B, un modelo de lenguaje pequeño con un rendimiento sin precedentes, con 7B parámetros. Este modelo se anuncia como superior en calidad y velocidad a sus competidores actuales, incluyendo Mistral-7B, Gemma-7B de Google y Llama3-8B de Meta. Zamba2-7B está diseñado para entornos que necesitan un potente procesamiento del lenguaje pero tienen limitaciones de hardware, como el procesamiento o uso en dispositivos.

El equipo de investigación de Nvidia, utilizando técnicas de poda y destilación de modelos, ha presentado con éxito Llama-3.1-Minitron4B, una versión compacta del modelo Llama3, diseñada para la inteligencia artificial en dispositivos. Este modelo, mediante técnicas de poda profunda y poda de ancho, reduce la cantidad de parámetros del modelo original de 8B, manteniendo al mismo tiempo un rendimiento similar al de modelos más grandes. Con una reducción significativa en la cantidad de datos de entrenamiento (40 veces), el modelo ha mejorado su rendimiento en un 16% en las pruebas de referencia MMLU. Este logro se realizó a través de la tecnología de NVIDIA Ne...

Zyphra ha lanzado el modelo de lenguaje Zamba2-2.7B, un hito en el campo de los modelos de lenguaje pequeños. Este modelo ofrece una mejora significativa en rendimiento y eficiencia. Entrenado con aproximadamente 3 billones de tokens, reduce los requisitos de recursos durante la inferencia, convirtiéndose en una solución eficiente para aplicaciones en dispositivos móviles. Los puntos clave incluyen una mejora del doble en el tiempo de generación de la primera respuesta, una reducción del 27% en el uso de memoria y una reducción de la latencia de generación de 1,29 veces. Es especialmente adecuado para aplicaciones que requieren interacción en tiempo real, como asistentes virtuales y chatbots. Zamba2-2.

Microsoft anuncia el lanzamiento de la función de ajuste fino sin servidor para el modelo de lenguaje pequeño Phi-3, que permite a los desarrolladores ajustar fácilmente el rendimiento del modelo en la plataforma Azure AI sin necesidad de gestionar la infraestructura subyacente, y con un periodo inicial gratuito. El modelo Phi-3, con 3000 millones de parámetros, es adecuado para desarrolladores empresariales, ofreciendo un rendimiento eficiente y un bajo coste. En comparación con GPT-3.5 de OpenAI, aunque tiene menos parámetros, muestra un rendimiento similar en diversas aplicaciones. El ajuste fino sin servidor simplifica la operación, reduce la barrera de entrada y admite el ajuste fino de modelos pequeños y medianos.

NVIDIA ha lanzado recientemente la serie de modelos de lenguaje pequeños Minitron, que incluye versiones de 4B y 8B parámetros. Estos modelos ofrecen una velocidad de entrenamiento 40 veces superior, reduciendo significativamente los requisitos de recursos y datos, y por lo tanto, los costes. Combinando técnicas de "poda" y "destilación del conocimiento", Minitron mantiene el rendimiento mientras reduce el tamaño, permitiendo a los desarrolladores utilizar tecnología de vanguardia a un coste menor para aplicaciones como traducción, análisis de sentimiento e IA conversacional. La publicación de código abierto de Minitron facilita el acceso y uso para una audiencia más amplia.